Trên núi có một ngôi chùa được gọi là chùa Núi Nổi hay chùa Phù Sơn Tự. Ngôi chùa được xây vào năm 1938. Chùa là cơ sở của các lực lượng cách mạng trong các cuộc kháng chiến chống Pháp và Mỹ.[3][6]

Trước khi chùa được lập, ban đầu chỉ có một am lá là nơi ở và tu hành của một ông già tóc bạc phơ. Về sau, ông rời khỏi đây dân địa phương không rõ tung tích. Họ dựng lại am và thờ Sơn Thần. Đây là ngôi chùa hiếm hoi ở Tây Nam Bộ có thờ sơn thần bên cạnh cơ sở Phật giáo. Lễ vía Sơn Thần vào ngày 10 tháng 8 Âm lịch hằng năm.[5]

Vào năm 2001, UBND Tỉnh An Giang công nhận chùa núi Nổi là di tích lịch sử - cách mạng cấp Tỉnh. Vào tháng 6 năm 2018, chùa được mở rộng với tổng diện tích 30.000 m2,[7] các công trình tu bổ và xây thêm gồm có Chánh điện, nhà Tổ, nhà Tăng, nhà Ni, tượng Quan âm cao 22 m, Phật Di đà cao 42 m, cổng Tam quan với tổng kinh phí trên 30 tỷ VND.[3] Hằng năm, hàng nghìn lượt khách du lịch đến viếng thăm chùa.[8]